在第一個範例中將會使用MNIST手寫辦識資料集進行訓練與模型部署.

MNIST說明

MNIST database((Modified National Institute of Standards and Technology database)裡面有手寫數字的圖片, 是由美國國家標準暨技術研究院所收集, 可以參考這個網站

會使用MNIST的原因, 一來這個資料集的資料size不會占用過多儲存空間(大約需要20多MB), 另一方面目前已有很多MNIST的資料可以看參考, 是初學者執行機器學習應用中常使用的資料集.

下圖是MNIST database中的一個圖像:數字6

針對MNIST再提供下列資訊:

1. 每張MNIST的大小為28x28 pixel
2. 資料集包含60,000張訓練影像檔與10,000張測試影像檔
3. 下載資料集之後, 解開壓縮檔會包含二個目錄, 分別是train目錄與valid目錄, 而且在train目錄與valid目錄下會有0-9共10個目錄, 這10個目錄就是做為標籤(Label)使用, 因為會將所屬的數字圖像放在所屬的目錄中, 例如數字6的圖像就會放在目錄名稱為6的目錄

在本範例中, 將會在jupyer notebook下載資料集進行使用, 因此不需要事先下載.

範例一的平台工具說明

在本範例所使用的平台工具會使用到JuypterHub, MLflow與Web Server(Django), 如下圖所示:

• Trainging
  • 會自行安裝JupyterHub, 目的是用來撰寫notebook並執行訓練
• Tracking
  • 會自行安裝MLFlow, 目的是用來記錄每次訓練的parameter、metric與model
• Serving
  • 會自行安裝Web Server(使用Django), 目的是提供endpoint, 讓使用者可以存取這個endpoint之後取得推論結果

我們下一篇就來安裝JupyterHub

參考資料

http://yann.lecun.com/exdb/mnist/